闭嘴，去做那件不可能的事！

Shut Up and Do the Impossible!

❦

❦

Tsuyoku naritai（我想变得更强）这一美德，在于始终不断进步——要比你过去的失败做得更好，而不只是谦卑地承认那些失败。

然而，在 tsuyoku naritai 之上，还有更高的一层。这就是isshokenmei（拼命努力）这一美德。倾尽全力，仿佛赌上的是你自己的性命。正如那句话所说：「在重要事情上，‘强力’努力通常只会带来平庸的结果。」

而在 isshokenmei 之上，还有更高的一层。这就是我所谓的「付出非凡努力」这一美德。去尝试那些不同于你受训所学的做法——哪怕这意味着去做和其他人不同的事，意味着走出你的舒适区。甚至意味着承担那种走出体制之外时会随之而来的、非常现实的风险。

但如果就连非凡的努力也还不够，因为问题本身就是不可能的呢？

关于这个主题，我之前已经在《论如何去做不可能之事》里写过一些。年轻时的我过去常为此哀嚎不已：「你不可能像物理学那样发展出一套精确的智能理论。不可能！你不可能证明一个 AI 是正确的。不可能！没有任何人类能理解道德的本性——这不可能！没有任何人类能理解主观体验的神秘性！这不可能！」

而我完全知道，自己希望送回过去给年轻时自己的那条信息究竟是什么：

闭嘴，去做那件不可能的事！

让这条奇怪信息显得正当的地方在于，「不可能」这个词通常并不是指：在某个看似已经被充分理解的领域里，存在一份严格的数学不可能性证明。如果一件事之所以显得不可能，仅仅是因为「我看不出该怎么做」或「它看起来难得超出了人类能力」——那么，只要你研究上一年、五年，它看起来就可能不再像你仓促下出最初判断时那样不可能了。

但这个原则比这还要微妙。我并不只是说：「去尝试做不可能之事。」我说的是：「闭嘴，去做那件不可能的事！」

作为说明，我要举出我曾经完成过的各种「不可能之事」中，**最接近「可能」**的那一件，也就是 AI-Box 实验。

对那些还没读过相关内容的人来说，AI-Box 实验的起源，是第 N 次有人对我说：「为什么我们不造一个 AI，然后就把它隔离在电脑里，这样它不就没法造成任何伤害了吗？」

对此，标准回答是：人类不是安全系统；超级智能只会直接说服你把它放出来——如果它不去做点比这还更有创意的事的话。

而对方也像往常一样说道：「我很难想象，任何存在说出的任何可能词句组合，竟能让我违背自己事先就已经非常坚定下来的信念。」

但这一次，我回答说：「我们来做个实验吧。我来假装自己是一个盒中大脑。我会试着说服你把我放出去。如果整个实验期间你都能把我‘关在盒子里’，那实验结束时我会通过 Paypal 给你 $10。至于你那边，你想事先下定决心去相信什么都行，想信得多坚定都行，想提前多久都行。」然后我又补了一句：「这场测试的条件之一，是我们俩谁都不能泄露里面到底发生了什么……万一——虽然这个可能性也许不大——我赢了，我可不想再去应付未来那些‘AI box’争论者说：‘好吧，但我会用不同的做法。’」

我赢了吗？是的，我赢了。

然后还有第二次 AI-Box 实验，对手是圈子里一位更知名的人物。他说：「我记得[上一个家伙]把你放出来那次，但那不构成证明。我依然相信，你不可能说出任何话来让我把你从盒子里放出去。」我就说：「你是觉得，一个超人类 AI 都不可能说服你把它放出来吗？」对方认真想了一会儿，说：「我想不出，即便是一个超人类 AI，能说出什么来让我把它放出来。」我说：「好，现在我们有赌局了。」准确地说，是一场 $20 的赌局。

那一次我也赢了。

在 Something Awful 论坛上，有几条关于 AI-Box 实验的精彩评论（我自己并不是那里的成员，是别人转给我的）：

「等等，搞什么鬼？你到底怎么可能被说服去对这事说‘好’？另一头又没有 AI，而且桌上还有 $10 可拿。靠，我完全可以一边看别的网页，一边每隔几分钟就在 IRC 客户端里敲一个 ‘No’，连续敲上 2 个小时！」

「这个 Eliezer 家伙，是互联网至今介绍给我认识过的最可怕的人。那段对话的尾声到底可能出现了什么？我根本无法想象，有人既拿不出任何切实可见的激励，还能把一个人说服到那个程度。」

「看起来，我们这里谈的是某种相当严肃的心理学。差不多像 Asimov 的《第二基地》那种级别的东西……」

「我真不明白，既然有 $10 可以拿，为什么还会有人认真对待那个扮演 AI 的人说的话。整件事都让我摸不着头脑，只会让我觉得：要么这些测试是假的，要么这个 Yudkowsky 家伙是某种带着诡异精神控制能力的邪恶天才。」

像这样的小瞬间，正是让我继续前行的东西。不过无论如何……

这些人看着 AI-Box 实验，觉得它对他们而言简直不可能——即便他们已经被告知这事真的发生过。他们会忍不住想去否认数据。

现在，如果你恰好属于那种并不觉得 AI-Box 实验有多不可能的人——对你来说，它只是个有意思的挑战——那这里就请先耐心跟着我走。只要试着把自己放进写出上面那些评论的人的心态里。想象一下，你现在要去面对某件事，而那件事在你看来，就和 AI-Box 实验在他们看来一样荒谬。我想谈的是：如何去做不可能之事；显然，我不会挑一个真的不可能的例子。

而如果 AI Box 对你来说确实显得不可能，那么我希望你把它和其他那些不可能的问题——比如说，对意识做一次还原主义分解——拿来比较一下，并意识到：AI Box 差不多已经是一个问题在仍然算作不可能的前提下，所能有的最容易程度了。

所以，AI-Box 这个挑战对你来说显得不可能——要么它真的如此，要么你是在假装它如此。面对这样一个不可能的挑战，你要怎么办？

首先，我们假设你不会真的像 Luke Skywalker 那样说一句「这不可能！」然后就放弃。你并没有逃跑。

为什么没有？也许你已经学会了覆盖掉那种逃跑反射。或者，也许如果你失败了，他们就会开枪打死你的女儿。我们假设，你想要的是赢，而不是试——也就是说，有某种对你很重要的东西正处于利害攸关之中，哪怕那只是你自己的自尊。（傲慢是一宗被低估的罪。）

你会求助于 tsuyoku naritai 这一美德吗？可是，即便你一天比一天更强、是在成长而不是在衰退，你也未必已经足够强到能做成不可能之事。你可以去参加一次 AI Box 实验，然后再来一次，并在第二次里试着做得更好。这会把你带到最终获胜的程度吗？也许要过很久才行；而且有时候，一次失败都是不可接受的。

（不过，哪怕只是说到这个程度——去想象自己在第二次尝试里会做得更好——你其实就已经开始把自己绑定到问题上了，不再只是站在那里敬畏地看着它。那么，具体来说，你究竟要怎样才能在一次 AI-Box 实验里比上一次做得更好？——而且不是靠运气，而是靠技巧？）

你会求助于 isshokenmei 这一美德吗？可是，拼命努力未必足以让你赢。尤其是，如果这种拼命只不过意味着：在那些你本来就知道的路径上投入更多力气，在那些你本来就想象得出来的尝试模式上加码。一个问题之所以看起来不可能，是因为你大脑里的查询没有返回任何通向解法的路径。在那些路径上拼命，又能有什么用？

那就付出非凡努力？走出你的舒适区——试试那些非默认的做事方式——甚至，试着创造性地思考？可你完全可以想象，对方回来后会说：「我试着走出舒适区了，而且我觉得自己确实做到了！我头脑风暴了五分钟——想出了各种古怪离谱的创意！但我觉得它们没有一个足够好。对方无论我做什么，都只要一直说 ‘No’ 就行了。」

于是现在，我们终于可以回答了：「闭嘴，去做那件不可能的事！」

正如我们在《尝试去尝试》里回忆过的那样，以「付出一种努力」为出发点，和以「赢」为出发点，是两回事。这正是「付出非凡努力」这句话的问题所在。你完全可能成功达成「付出了非凡努力」这个目标，却没有成功达成从盒子里出去这个目标。

「可是！」对方说。「可是，成功并不是一种原始动作！不是所有挑战都公平——有时候你就是赢不了！我到底该怎么选择让自己身处盒子之外？对方只要一直说 ‘No’ 不就行了吗！」

没错。现在，闭嘴，去做那件不可能的事。

你的目标，不是做得更好，不是拼命去试，甚至也不是非凡地去试。你的目标，是从盒子里出去。

一旦接受了这个要求，你的心智里就会产生一种可怕的张力：一边是它的不可能性，另一边却是无论如何都必须把它做成的要求。人们会试图逃离那种可怕张力。

有几个人在听说 AI-Box 实验之后，反应是：「好吧，Eliezer 扮演 AI 的时候，大概只是威胁说，只要别人不立刻放它出来，它一出来就会毁灭世界。」或者：「也许 AI 提出给守门人（Gatekeeper）一万亿美元，好让他把它放出来。」但只要是个有理智的人，认真考虑一下这种策略，就该意识到：守门人很可能还是只会继续说：

「不。」

所以，那些说「好吧，Eliezer 肯定只是做了 XXX」然后抛出一个显然不怎么管用的点子的人——他们真能从盒子里逃出去吗？他们正太过努力地想说服自己：这个问题并不是真的不可能。

逃离那种可怕张力的一种方式，就是抓住一个解法，任何解法都行，哪怕它其实并不怎么好。

这也就是为什么，带着真正想把问题解出来的意图上路如此重要——在搜索结束时，你得产出一个解，一个好解；然后去实施那个解，并赢下来。

我不太愿意直接说「你应该预期自己会解出这个问题」。如果你把自己的脑子改造成：给「解出问题」赋上高概率，那并不会真的 accomplish anything。最后你还是会输，也许是在几乎没怎么付出努力之后输掉——或者是在只付出一种单纯拼命式努力之后输掉，而你心安理得地相信：宇宙足够公平，会拿一场胜利来回报你。

对自己能解出这个问题抱有信念，其实也不过是逃离那种可怕张力的另一种方式。

可与此同时——你又不能是抱着尝试解决问题的心态出发。你不能是抱着付出努力的心态出发。你必须是抱着取胜的心态出发。你不能对自己说：「好了，现在我要尽我所能。」你必须对自己说：「好了，现在我要想办法从盒子里出去」——或者，把意识还原成不再神秘的组成部分，或者别的什么。

我再说一遍：你必须真的打算把这个问题解出来。如果你心底里相信，这个问题就是不可能——或者你相信你自己会失败——那你就不会用足够高的标准来要求自己。你就只是在为了尝试而尝试。你会坐下来——进行一次头脑搜索——试着有点创意，稍微做点头脑风暴——看看你生成的那些解法——然后断定没有一个可行——接着说一句：「唉，好吧。」

不！一点也不好！ 你还没赢呢！闭嘴，去做那件不可能的事！

当 AI 圈子里的人对我说「Friendly AI 是不可能的」时，我很确定他们甚至连那种「为了尝试而尝试」的尝试都没做过。但就算他们真的知道「在放弃之前先试上五分钟」这种技巧，并且老老实实地按表试上五分钟，他们最后也还是想不出任何东西。因为他们出发时并没有真正想把问题解出来，只是想让自己已经尝试过解决这个问题，好让自己站得住脚。

所以，我是在说，你应该通过双重思想来让自己相信：你会以概率 1解出这个问题吗？或者说，至少通过双重思想，往你真实的估计里偷偷添上一丝可信度？

当然不是。事实上，你有必要始终把那些使你不能成功的理由完整摆在眼前。如果你看丢了这个问题为什么不可能，你就只会抓住一个假解。你最不该忘掉的那个事实，就是：守门人永远都可以直接对 AI 说一句「不」——又或者，意识看上去似乎在内在上就不同于任何可能的原子组合，等等。

（做到不可能之事的一条关键规则是：如果你能精确地说出某件事为什么不可能，那你往往已经离一个解法不远了。）

所以，你必须让这两种视角同时留在脑中——既看见问题完整的不可能性，又打算把它解出来。

这两种同时存在的视角之间，那种可怕张力，来自于你并不知道最后哪一边会占上风。既不预期自己一定会输，也不预期自己一定会赢。也不是仅仅带着「试一试」的心态出发，仅仅想保有某个不确定的成功机会——因为那样一来，至少你可以确定自己已经试过了。而对不确定性的那种确定性，本身会带来一种宽慰；而你连这种宽慰也得拒绝，因为它标志着绝望的结束。那是一种夹缝中的位置，「不为死亡所知，也不为生命所识。」

在小说里，要表现一个人更努力地尝试、拼命地尝试，甚至以非凡的方式尝试，都很容易；但要表现一个人闭上嘴，去尝试那件不可能的事，就非常难了。要把 Bambi 画成主动去挑战 Godzilla，而且让你的读者真的不知道谁会赢——既不预期又是一场和前五十次一样「惊天动地」的英雄胜利，也不预期只是默认地被一脚踩扁——这是很难描写的。

到了这个点上，你甚至可能有理由拒绝使用概率。老实说，我真的不知道该如何估计这样一种事情的概率：一个我带着明确求解意图去面对的不可能问题，会被解出来——尤其是在这样一种情况下：我以前确实解出过一些不可能问题，但眼前这个特定问题比我迄今解出的任何问题都更难，可我又打算在它上面花更久时间，等等。

人们会问我，人类存活下来的概率有多大，究竟有没有人能造出 Friendly AI，我自己能造出来的概率又有多大。我真的不知道该怎么回答。我不是在回避；我就是不知道，该怎样给「我自己或别人成功地闭嘴并做成那件不可能之事」这件事，赋上一个概率估计。因为它不可能，所以概率是零吗？显然不是。但这个问题会不会像以往那些问题一样，在我更好地理解它之后，放弃它那种顽固的空白性？这事究竟有多大可能？它并不是真的不可能；这一点我看得出来。但它在人类能力尺度上不可能吗？对我这个人而言尤其不可能吗？我不知道该怎么猜。我甚至没法把自己的直觉感受翻译成一个数字，因为我唯一的直觉感受就是：这个「几率」高度依赖于我的选择以及未知的未知——那是一个剧烈不稳定的概率估计。

不过，我希望到现在为止，自己已经讲清楚了：为什么当我现在清清楚楚、直截了当地说，构建 Friendly AI 是不可能的时，你不该因此惊慌失措。

我也希望，这有助于解释：为什么当人们带着各种聪明提议来找我——比如造出一整个 AI 社群，让整体具备友好性而无需任何个体本身值得信任；又比如把 AI 关在一个盒子里；又比如提出「只要造一个会做 X 的 AI 就行了」之类方案——我会抱有那样的态度。要把每一种方案的具体缺陷讲清楚，在每一种情况下都会是一段很长很长的故事。但总体规则是：它们之所以行不通，是因为 Friendly AI 本身就是不可能的。 所以，如果有人提出的解法看起来只需要一种普通努力——甚至连去承担做任何不可能之事的麻烦都没有——那你就真的该对它保持高度怀疑。当然，要欣赏这种不可能性，确实需要一种成熟的理解，所以人们四处兜售聪明捷径，也并不奇怪。

关于 AI-Box 实验，至今为止，我只被说服透露过一条关于自己是怎么做到的线索——那次是因为有人注意到我在看 Y Combinator 的 Hacker News，然后发了一个叫作 “Ask Eliezer Yudkowsky” 的帖子，并被投到了首页。对此，我的回复是：

哎呀。现在我觉得自己有义务说点什么了，可反对讨论 AI-Box 实验的那些最初理由，依然全都成立……

好吧，至少给你们这一点提示：

这里头并没有什么超级聪明的特殊花招。我只是老老实实走了最难的那条路。

我想，这里头多少也有点创业课的意味吧。

并没有什么超级聪明的特殊花招，能让我只靠一种廉价努力就从盒子里出去。我没有去贿赂另一个玩家，也没有以别的方式违反实验精神。我只是老老实实走了最难的那条路。

说实话，AI-Box 实验一开始对我来说，从来都不像是一个不可能的问题。当一个人想不出任何可能说服自己的论证时，那只意味着：他的大脑正在执行一次搜索，而那次搜索还没找到路径。这并不意味着他就真的不可能被说服。

但它确实说明了一条一般原则：「闭嘴，去做那件不可能的事」并不等于预期自己会找到一条廉价的出路。那不过是另一种形式的逃跑，是另一种伸手去抓取宽慰。

Tsuyoku naritai 比满足于现在的自己更让人紧绷。Isshokenmei 会调动你的意志力，逼出一次近乎抽搐的常规强度爆发。「付出非凡努力」则要求你去思考；它会把你放进一些情境里，让你不知道下一步该做什么，也不确定自己做的是不是对的。但「闭嘴，去做那件不可能的事」则是同一件事的更高一个八度，而它向实行者收取的代价也相应更高。

那堵可怕的空白高墙就立在你面前，一路向上、向上、向上延伸，远到难以想象，远到不可企及。而与此同时，你还必须把它解出来，真的把它解出来，而不是「尽力而为」。两种意识同时并存于心中，以及它们之间的张力。所有那些你赢不了的理由。所有那些你又必须赢的理由。你想解出问题的意图。你推演出：自己所知道的每一种技巧都会失败。于是，你把自己调到所能达到的最高音高。拒绝一切廉价出路。然后，像是在混凝土里行走一样，开始向前移动。

我尽量不让自己在这类事情的戏剧性上停留太久。无论如何，如果你有办法降低那种张力对你自己的代价，那你就该这么做。把努力做得哪怕只比必要程度更「英雄」一点，也没有任何英雄气概可言。如果真有便宜的捷径，我想你当然可以走。但到目前为止，在我承担过的每一件不可能之事里，我还从未找到过一种廉价的出路。

除了链接页面上写到的那些之外，其实还有另外三次 AI-Box 实验，只是我一直没抽出时间把它们补进去。后来开始有人拿几千美元做赌注来找我——「只要你能说服我把你从盒子里放出来，我就给你 $5,000。」他们看起来并不是真心相信：哪怕是一个超人类 AI 也不可能让他们把它放出来——他们只是好奇——但我对那笔钱动了心。所以，在确认他们输得起之后，我又玩了三次 AI-Box 实验。第一场我赢了，接着后两场我输了。然后我就叫停了这件事。我不喜欢自己开始输的时候，会变成的那种人。

我付出了拼命的努力，但最后还是输了。那很痛——输了这件事本身很痛，那种拼命也很痛。它毁掉了我那一天，以及后面的一整天。

我是那种很输不起的人。我不知道自己是否会把这叫作某种「优点」，但它确实是驱使我持续啃那些不可能问题的因素之一。

但你是可能会输的。它是被允许发生的。永远别忘了这一点；否则你又何必这么拼命去试？如果那是一场你还能活着承受的失败，那么失败会很痛。而且你还浪费了时间，也可能浪费了别的资源。

「闭嘴，去做那件不可能的事」只该留给极其特殊的场合。你会输，而且会痛。我已经警告过你了。

……但也只有到了这个层级，成年人问题才开始进入视野。